Scikit-learn முன்தயாரிப்பு: இயந்திர கற்றலுக்கான தரவு உருமாற்ற பைப்பலைன்களில் தேர்ச்சி பெறுதல்

இயந்திர கற்றல் துறையில், உங்கள் தரவின் தரம் உங்கள் மாடல்களின் செயல்திறனை நேரடியாக பாதிக்கிறது. மூலத் தரவு பெரும்பாலும் முரண்பாடுகள், விடுபட்ட மதிப்புகள் மற்றும் மாறுபட்ட அளவுகளைக் கொண்டிருக்கிறது, இது நேரடி பயன்பாட்டிற்குப் பொருத்தமற்றதாக ஆக்குகிறது. Scikit-learn, ஒரு சக்திவாய்ந்த பைத்தான் நூலகம், உங்கள் தரவை இயந்திர கற்றல் அல்காரிதம்களுக்கு ஏற்ற வடிவமாக மாற்றுவதற்கான விரிவான முன்தயாரிப்பு நுட்பங்களை வழங்குகிறது. இந்த கட்டுரை, உங்கள் இயந்திர கற்றல் பணிப்பாய்வுகளை நெறிப்படுத்த தரவு உருமாற்ற பைப்பலைன்களை உருவாக்குதல் மற்றும் பயன்படுத்துவதில் கவனம் செலுத்தி, Scikit-learn முன்தயாரிப்பு உலகிற்குள் ஆழமாகச் செல்கிறது.

தரவு முன்தயாரிப்பு ஏன் முக்கியமானது

தரவு முன்தயாரிப்பு என்பது மூலத் தரவை சுத்தம் செய்தல், மாற்றுதல் மற்றும் ஒழுங்கமைத்தல் ஆகும், இது இயந்திர கற்றல் மாடல்களுக்கு மிகவும் பொருத்தமானதாக அமைகிறது. இது ஒரு முக்கிய படியாகும், ஏனெனில் இயந்திர கற்றல் அல்காரிதம்கள் உள்ளீட்டு அம்சங்களின் அளவு மற்றும் விநியோகத்திற்கு உணர்திறன் கொண்டவை. சரியான முன்தயாரிப்பு இல்லாமல், மாடல்கள் மோசமாக செயல்படலாம், இது துல்லியமற்ற கணிப்புகள் மற்றும் நம்பமுடியாத முடிவுகளுக்கு வழிவகுக்கும். தரவு முன்தயாரிப்பு ஏன் அவசியம் என்பதற்கான சில முக்கிய காரணங்கள் இங்கே:

• மேம்படுத்தப்பட்ட மாடல் செயல்திறன்: முன்தயாரிக்கப்பட்ட தரவு மாடல்களை மிகவும் திறம்பட கற்றுக்கொள்ளவும், அதிக துல்லியத்தை அடையவும் உதவுகிறது.
• விடுபட்ட மதிப்புகளைக் கையாளுதல்: இம்பியூட்டேஷன் நுட்பங்கள் விடுபட்ட தரவுப் புள்ளிகளை நிரப்புகின்றன, அல்காரிதம்கள் செயலிழப்பதைத் தடுக்கின்றன அல்லது பக்கச்சார்பான முடிவுகளை உருவாக்குவதைத் தடுக்கின்றன.
• அம்ச அளவுகளைத் தரப்படுத்துதல்: அளவிடுதல் முறைகள் அனைத்து அம்சங்களும் மாடலுக்கு சமமாக பங்களிப்பதை உறுதிசெய்கின்றன, பெரிய மதிப்புகளைக் கொண்ட அம்சங்கள் கற்றல் செயல்முறையில் ஆதிக்கம் செலுத்துவதைத் தடுக்கின்றன.
• வகைப்படுத்தப்பட்ட மாறிகளை குறியாக்கம் செய்தல்: குறியாக்க நுட்பங்கள் வகைப்படுத்தப்பட்ட தரவை இயந்திர கற்றல் அல்காரிதம்கள் புரிந்துகொள்ளக்கூடிய எண் பிரதிநிதித்துவங்களாக மாற்றுகின்றன.
• சத்தம் மற்றும் வெளிப்பாடுகளைக் குறைத்தல்: முன்தயாரிப்பு, வெளிப்பாடுகள் மற்றும் சத்தமான தரவுகளின் தாக்கத்தை குறைக்க உதவும், இது மிகவும் வலுவான மாடல்களுக்கு வழிவகுக்கும்.

Scikit-learn பைப்பலைன்களுக்கு ஒரு அறிமுகம்

Scikit-learn பைப்பலைன்கள் பல தரவு உருமாற்ற படிகளை ஒரே, மீண்டும் பயன்படுத்தக்கூடிய பொருளாக இணைக்க ஒரு வழியை வழங்குகின்றன. இது உங்கள் குறியீட்டை எளிதாக்குகிறது, வாசிப்புத்திறனை மேம்படுத்துகிறது, மற்றும் மாடல் மதிப்பீட்டின் போது தரவு கசிவைத் தடுக்கிறது. ஒரு பைப்பலைன் என்பது அடிப்படையில் தரவு உருமாற்றங்களின் வரிசையாகும், அதைத் தொடர்ந்து ஒரு இறுதி மதிப்பீட்டாளர் (எ.கா., ஒரு வகைப்படுத்தி அல்லது பின்னடைவு). பைப்பலைன்கள் ஏன் மிகவும் பயனுள்ளவை என்பது இங்கே:

• குறியீடு அமைப்பு: பைப்பலைன்கள் முழு தரவு முன்தயாரிப்பு மற்றும் மாடலிங் பணிப்பாய்வுகளை ஒரே அலகில் இணைக்கின்றன, உங்கள் குறியீட்டை மேலும் ஒழுங்கமைக்கப்பட்டதாகவும் பராமரிக்க எளிதாகவும் ஆக்குகின்றன.
• தரவு கசிவு தடுப்பு: பைப்பலைன்கள் பயிற்சி மற்றும் சோதனை தரவு இரண்டிற்கும் தரவு உருமாற்றங்கள் சீராகப் பயன்படுத்தப்படுவதை உறுதிசெய்கின்றன, இது ஓவர்ஃபிட்டிங் மற்றும் மோசமான பொதுமைப்படுத்தலுக்கு வழிவகுக்கும் தரவு கசிவைத் தடுக்கிறது.
• எளிமைப்படுத்தப்பட்ட மாடல் மதிப்பீடு: பைப்பலைன்கள் குறுக்கு சரிபார்ப்பு போன்ற நுட்பங்களைப் பயன்படுத்தி உங்கள் மாடலின் செயல்திறனை மதிப்பிடுவதை எளிதாக்குகின்றன, ஏனெனில் முழு முன்தயாரிப்பு மற்றும் மாடலிங் பணிப்பாய்வு ஒவ்வொரு மடிப்பிற்கும் சீராகப் பயன்படுத்தப்படுகிறது.
• நெறிப்படுத்தப்பட்ட வரிசைப்படுத்தல்: பைப்பலைன்களை உற்பத்தி சூழல்களில் எளிதாகப் பயன்படுத்தலாம், பயிற்சியின் போது தரவு முன்தயாரிக்கப்பட்ட அதே வழியில் முன்தயாரிக்கப்படுவதை உறுதி செய்கிறது.

Scikit-learn இல் உள்ள பொதுவான தரவு முன்தயாரிப்பு நுட்பங்கள்

Scikit-learn பரந்த அளவிலான முன்தயாரிப்பு நுட்பங்களை வழங்குகிறது. இங்கே மிகவும் பொதுவாகப் பயன்படுத்தப்படும் சிலவற்றைப் பார்ப்போம்:

1. அளவிடுதல் மற்றும் இயல்பாக்குதல்

அளவிடுதல் மற்றும் இயல்பாக்குதல் ஆகியவை எண் அம்சங்களை ஒரே மாதிரியான மதிப்புகளுக்கு மாற்றுவதற்குப் பயன்படுத்தப்படும் நுட்பங்கள் ஆகும். வெவ்வேறு அளவீடுகளைக் கொண்ட அம்சங்கள் கற்றல் செயல்முறையில் விகிதாசாரமற்ற முறையில் செல்வாக்கு செலுத்தக்கூடும் என்பதால் இது முக்கியமானது. Scikit-learn பல அளவிடுதல் மற்றும் இயல்பாக்குதல் முறைகளை வழங்குகிறது:

• StandardScaler: சராசரியை அகற்றி, யூனிட் மாறுபாட்டிற்கு அளவிடுவதன் மூலம் அம்சங்களைத் தரப்படுத்துகிறது. இது தரவு ஒரு இயல்பான விநியோகத்தைப் பின்பற்றுகிறது என்று கருதும் பரவலாகப் பயன்படுத்தப்படும் ஒரு நுட்பமாகும்.

  சூத்திரம்: x_scaled = (x - mean) / standard_deviation

  உதாரணம்: உங்களிடம் அமெரிக்க டாலரில் வீட்டின் விலைகள் மற்றும் சதுர அடிகள் இருப்பதாக வைத்துக்கொள்வோம். இந்த அம்சங்களை அளவிடுவது, பெரிய மதிப்புகளைக் கொண்ட அம்சத்திற்கு (எ.கா., வீட்டின் விலைகள்) மாடல் தேவையற்ற முக்கியத்துவம் கொடுக்காமல் இருப்பதை உறுதி செய்கிறது.

• MinMaxScaler: அம்சங்களை ஒரு குறிப்பிட்ட வரம்பிற்குள், பொதுவாக 0 மற்றும் 1 க்கு இடையில் அளவிடுகிறது. தரவின் அசல் விநியோகத்தைப் பாதுகாக்க விரும்பும்போது இது பயனுள்ளதாக இருக்கும்.

  சூத்திரம்: x_scaled = (x - min) / (max - min)

  உதாரணம்: பட செயலாக்கத்தில் பிக்சல் மதிப்புகளை [0, 1] வரம்பிற்கு இயல்பாக்க பெரும்பாலும் MinMaxScaler பயன்படுத்தப்படுகிறது.

• RobustScaler: சராசரி மற்றும் இடைப்பட்ட வரம்பு (IQR) போன்ற வெளிப்பாடுகளுக்கு வலுவான புள்ளிவிவரங்களைப் பயன்படுத்தி அம்சங்களை அளவிடுகிறது. உங்கள் தரவில் வெளிப்பாடுகள் இருக்கும்போது இது ஒரு நல்ல தேர்வாகும்.

  சூத்திரம்: x_scaled = (x - median) / IQR

  உதாரணம்: நிதித் தரவுத்தொகுப்புகளில், வெளிப்பாடுகள் பொதுவானவை (எ.கா., தீவிர பங்குச் சந்தை ஏற்ற இறக்கங்கள்), RobustScaler மேலும் நிலையான முடிவுகளை வழங்க முடியும்.

• Normalizer: மாதிரிகளை தனித்தனியாக யூனிட் நார்மிற்கு இயல்பாக்குகிறது. இது அம்ச வெக்டரின் அளவு தனிப்பட்ட அம்ச மதிப்புகளை விட முக்கியமாக இருக்கும்போது பயனுள்ளதாக இருக்கும்.

  சூத்திரம் (L2 norm): x_scaled = x / ||x||

  உதாரணம்: உரை செயலாக்கத்தில், டெர்ம் ஃப்ரீக்வென்சி-இன்வெர்ஸ் டாக்குமெண்ட் ஃப்ரீக்வென்சி (TF-IDF) வெக்டர்களை இயல்பாக்குவது ஒரு பொதுவான நடைமுறையாகும்.

2. வகைப்படுத்தப்பட்ட மாறிகளை குறியாக்கம் செய்தல்

இயந்திர கற்றல் அல்காரிதம்களுக்கு பொதுவாக எண் உள்ளீடு தேவைப்படுகிறது, எனவே வகைப்படுத்தப்பட்ட மாறிகளை எண் பிரதிநிதித்துவங்களாக மாற்ற வேண்டும். Scikit-learn பல குறியாக்க நுட்பங்களை வழங்குகிறது:

• OneHotEncoder: அம்சத்தில் உள்ள ஒவ்வொரு வகைக்கும் பைனரி நெடுவரிசைகளை உருவாக்குகிறது. இது பெயரளவு வகைப்படுத்தப்பட்ட அம்சங்களுக்கு ( உள்ளார்ந்த வரிசை இல்லாத அம்சங்கள்) பொருத்தமானது.

  உதாரணம்: "USA," "Canada," மற்றும் "UK" போன்ற மதிப்புகளைக் கொண்ட ஒரு "country" அம்சத்தைக் குறியாக்கம் செய்வது, "country_USA," "country_Canada," மற்றும் "country_UK" என மூன்று புதிய நெடுவரிசைகளை உருவாக்கும்.

• OrdinalEncoder: ஒவ்வொரு வகைக்கும் அதன் வரிசையின் அடிப்படையில் ஒரு முழு எண் மதிப்பை ஒதுக்குகிறது. இது வரிசைமுறை வகைப்படுத்தப்பட்ட அம்சங்களுக்கு (அர்த்தமுள்ள வரிசையுடன் கூடிய அம்சங்கள்) பொருத்தமானது.

  உதாரணம்: "High School," "Bachelor's," மற்றும் "Master's" போன்ற மதிப்புகளைக் கொண்ட "education level" அம்சத்தைக் குறியாக்கம் செய்வது முறையே 0, 1, மற்றும் 2 போன்ற முழு எண் மதிப்புகளை ஒதுக்கும்.

• LabelEncoder: இலக்கு லேபிள்களை 0 மற்றும் n_classes-1 க்கு இடையிலான மதிப்புகளுடன் குறியாக்கம் செய்கிறது. வகைப்படுத்தல் சிக்கல்களில் இலக்கு மாறியைக் குறியாக்கம் செய்ய இதைப் பயன்படுத்தவும்.

  உதாரணம்: "spam" மற்றும் "not spam" லேபிள்களை முறையே 0 மற்றும் 1 ஆக குறியாக்கம் செய்தல்.

• TargetEncoder (category_encoders நூலகம் தேவை): ஒவ்வொரு வகைக்கும் இலக்கு மாறியின் சராசரியின் அடிப்படையில் வகைப்படுத்தப்பட்ட அம்சங்களைக் குறியாக்கம் செய்கிறது. குறுக்கு சரிபார்ப்பு அமைப்பிற்குள் கவனமாகப் பயன்படுத்தப்படாவிட்டால் இலக்கு கசிவுக்கு வழிவகுக்கும்.

3. விடுபட்ட மதிப்புகளைக் கையாளுதல்

விடுபட்ட மதிப்புகள் நிஜ உலக தரவுத்தொகுப்புகளில் ஒரு பொதுவான பிரச்சனையாகும். Scikit-learn விடுபட்ட மதிப்புகளை இம்பியூட் (நிரப்புதல்) செய்ய நுட்பங்களை வழங்குகிறது:

• SimpleImputer: ஒரு நிலையான மதிப்பு, சராசரி, சராசரி அல்லது அம்சத்தின் மிகவும் அடிக்கடி வரும் மதிப்பைப் பயன்படுத்தி விடுபட்ட மதிப்புகளை இம்பியூட் செய்கிறது.
• KNNImputer: k-அருகிலுள்ள அண்டை அல்காரிதத்தைப் பயன்படுத்தி விடுபட்ட மதிப்புகளை இம்பியூட் செய்கிறது. இது விடுபட்ட மதிப்புகளைக் கொண்ட மாதிரிக்கு k அருகிலுள்ள மாதிரிகளைக் கண்டுபிடித்து, அந்த அண்டை நாடுகளின் சராசரி மதிப்பைப் பயன்படுத்தி விடுபட்ட மதிப்பை இம்பியூட் செய்கிறது.
• IterativeImputer: ஒரு தொடர்ச்சியான மாடலிங் அணுகுமுறையைப் பயன்படுத்தி விடுபட்ட மதிப்புகளை இம்பியூட் செய்கிறது. விடுபட்ட மதிப்புகளைக் கொண்ட ஒவ்வொரு அம்சமும் மற்ற அம்சங்களின் செயல்பாடாக மாதிரியாக அமைக்கப்பட்டு, விடுபட்ட மதிப்புகள் மீண்டும் மீண்டும் கணிக்கப்படுகின்றன.

4. அம்சம் உருமாற்றம்

அம்சம் உருமாற்றம் என்பது தற்போதுள்ள அம்சங்களிலிருந்து புதிய அம்சங்களை உருவாக்குவதை உள்ளடக்கியது. இது நேரியல் அல்லாத உறவுகள் அல்லது அம்சங்களுக்கு இடையிலான தொடர்புகளைப் பிடிப்பதன் மூலம் மாடல் செயல்திறனை மேம்படுத்தும். சில நுட்பங்கள் பின்வருமாறு:

• PolynomialFeatures: அம்சங்களின் பல்லுறுப்புக்கோவை சேர்க்கைகளை உருவாக்குகிறது. எடுத்துக்காட்டாக, உங்களிடம் x1 மற்றும் x2 என இரண்டு அம்சங்கள் இருந்தால், PolynomialFeatures x1^2, x2^2, x1*x2 போன்ற புதிய அம்சங்களை உருவாக்க முடியும்.
• FunctionTransformer: அம்சங்களுக்கு ஒரு தனிப்பயன் செயல்பாட்டைப் பயன்படுத்துகிறது. இது மடக்கை உருமாற்றங்கள் அல்லது அடுக்குக்குறி உருமாற்றங்கள் போன்ற தன்னிச்சையான உருமாற்றங்களைச் செய்ய உங்களை அனுமதிக்கிறது.
• PowerTransformer: தரவை மேலும் காஸியன் போன்றதாக மாற்ற ஒரு சக்தி உருமாற்றத்தைப் பயன்படுத்துகிறது. இது நேரியல் பின்னடைவு போன்ற இயல்புநிலையை அனுமானிக்கும் அல்காரிதம்களுக்கு பயனுள்ளதாக இருக்கும். (பாக்ஸ்-காக்ஸ் மற்றும் இயோ-ஜான்சன் உருமாற்றங்களை உள்ளடக்கியது)

Scikit-learn உடன் தரவு உருமாற்ற பைப்பலைன்களை உருவாக்குதல்

இப்போது, இந்த முன்தயாரிப்பு நுட்பங்களை தரவு உருமாற்ற பைப்பலைன்களை உருவாக்குவதன் மூலம் நடைமுறைக்குக் கொண்டு வருவோம். இங்கே ஒரு படிப்படியான வழிகாட்டி:

1. தேவையான நூலகங்களை இறக்குமதி செய்யவும்

Scikit-learn இலிருந்து தேவையான நூலகங்களை இறக்குமதி செய்வதன் மூலம் தொடங்கவும்:

from sklearn.pipeline import Pipeline from sklearn.preprocessing import StandardScaler, OneHotEncoder, SimpleImputer from sklearn.compose import ColumnTransformer from sklearn.model_selection import train_test_split from sklearn.linear_model import LogisticRegression import pandas as pd

2. உங்கள் தரவை ஏற்றவும் மற்றும் தயாரிக்கவும்

பாண்டாஸ் அல்லது வேறு எந்த பொருத்தமான முறையைப் பயன்படுத்தி உங்கள் தரவுத்தொகுப்பை ஏற்றவும். உங்கள் தரவுத்தொகுப்பில் உள்ள எண் மற்றும் வகைப்படுத்தப்பட்ட அம்சங்களை அடையாளம் காணவும். உதாரணமாக:

data = { 'age': [25, 30, 35, 40, 45, None], 'country': ['USA', 'Canada', 'USA', 'UK', 'Canada', 'USA'], 'salary': [50000, 60000, 70000, 80000, 90000, 55000], 'purchased': [0, 1, 0, 1, 0, 1] } df = pd.DataFrame(data)

3. முன்தயாரிப்பு படிகளை வரையறுக்கவும்

நீங்கள் பயன்படுத்த விரும்பும் முன்தயாரிப்பு மின்மாற்றிகளின் நிகழ்வுகளை உருவாக்கவும். உதாரணமாக, எண் அம்சங்களைக் கையாள, நீங்கள் StandardScaler மற்றும் SimpleImputer ஐப் பயன்படுத்தலாம். வகைப்படுத்தப்பட்ட அம்சங்களுக்கு, நீங்கள் OneHotEncoder ஐப் பயன்படுத்தலாம். அளவிடுதல் அல்லது குறியாக்கம் செய்வதற்கு முன் விடுபட்ட மதிப்புகளைக் கையாள்வதற்கான உத்திகளைச் சேர்ப்பதைக் கருத்தில் கொள்ளுங்கள்.

numerical_features = ['age', 'salary'] categorical_features = ['country'] numerical_transformer = Pipeline(steps=[ ('imputer', SimpleImputer(strategy='mean')), ('scaler', StandardScaler()) ]) categorical_transformer = Pipeline(steps=[ ('onehot', OneHotEncoder(handle_unknown='ignore')) ])

4. ஒரு ColumnTransformer ஐ உருவாக்கவும்

உங்கள் தரவின் வெவ்வேறு நெடுவரிசைகளுக்கு வெவ்வேறு மின்மாற்றிகளைப் பயன்படுத்த ColumnTransformer ஐப் பயன்படுத்தவும். இது எண் மற்றும் வகைப்படுத்தப்பட்ட அம்சங்களை தனித்தனியாக முன்தயாரிக்க உங்களை அனுமதிக்கிறது.

preprocessor = ColumnTransformer( transformers=[ ('num', numerical_transformer, numerical_features), ('cat', categorical_transformer, categorical_features) ])

5. பைப்பலைனை உருவாக்கவும்

முன்தயாரிப்பு படிகளை ஒரு இயந்திர கற்றல் மாதிரியுடன் இணைக்கும் ஒரு Pipeline பொருளை உருவாக்கவும். இது தரவு மாடலுக்கு அளிக்கப்படுவதற்கு முன்பு சீராக முன்தயாரிக்கப்படுவதை உறுதி செய்கிறது.

pipeline = Pipeline(steps=[('preprocessor', preprocessor), ('classifier', LogisticRegression())])

6. மாடலைப் பயிற்றுவித்து மதிப்பீடு செய்யவும்

உங்கள் தரவை பயிற்சி மற்றும் சோதனை தொகுப்புகளாகப் பிரிக்கவும். பின்னர், பயிற்சித் தரவில் பைப்பலைனைப் பயிற்றுவித்து, சோதனைத் தரவில் அதன் செயல்திறனை மதிப்பீடு செய்யவும்.

X = df.drop('purchased', axis=1) y = df['purchased'] X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) pipeline.fit(X_train, y_train) score = pipeline.score(X_test, y_test) print(f'Model accuracy: {score}')

முழுமையான எடுத்துக்காட்டு குறியீடு

ஒரு தரவு உருமாற்ற பைப்பலைனை உருவாக்குவதற்கும் பயிற்றுவிப்பதற்கும் முழுமையான குறியீடு இங்கே:

import pandas as pd from sklearn.pipeline import Pipeline from sklearn.preprocessing import StandardScaler, OneHotEncoder, SimpleImputer from sklearn.compose import ColumnTransformer from sklearn.model_selection import train_test_split from sklearn.linear_model import LogisticRegression # Sample Data data = { 'age': [25, 30, 35, 40, 45, None], 'country': ['USA', 'Canada', 'USA', 'UK', 'Canada', 'USA'], 'salary': [50000, 60000, 70000, 80000, 90000, 55000], 'purchased': [0, 1, 0, 1, 0, 1] } df = pd.DataFrame(data) # Define features numerical_features = ['age', 'salary'] categorical_features = ['country'] # Create transformers numerical_transformer = Pipeline(steps=[ ('imputer', SimpleImputer(strategy='mean')), ('scaler', StandardScaler()) ]) categorical_transformer = Pipeline(steps=[ ('onehot', OneHotEncoder(handle_unknown='ignore')) ]) # Create preprocessor preprocessor = ColumnTransformer( transformers=[ ('num', numerical_transformer, numerical_features), ('cat', categorical_transformer, categorical_features) ]) # Create pipeline pipeline = Pipeline(steps=[('preprocessor', preprocessor), ('classifier', LogisticRegression())]) # Split data X = df.drop('purchased', axis=1) y = df['purchased'] X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) # Train model pipeline.fit(X_train, y_train) # Evaluate model score = pipeline.score(X_test, y_test) print(f'Model accuracy: {score}')

மேம்பட்ட பைப்பலைன் நுட்பங்கள்

நீங்கள் அடிப்படைகளுடன் வசதியாகிவிட்டால், மேலும் மேம்பட்ட பைப்பலைன் நுட்பங்களை நீங்கள் ஆராயலாம்:

1. தனிப்பயன் மின்மாற்றிகள்

Scikit-learn இல் கிடைக்காத குறிப்பிட்ட தரவு உருமாற்றங்களைச் செய்ய உங்கள் சொந்த தனிப்பயன் மின்மாற்றிகளை நீங்கள் உருவாக்கலாம். ஒரு தனிப்பயன் மின்மாற்றியை உருவாக்க, நீங்கள் TransformerMixin மற்றும் BaseEstimator வகுப்புகளிலிருந்து மரபுரிமையாகப் பெற்று, fit மற்றும் transform முறைகளைச் செயல்படுத்த வேண்டும். இது அம்சம் பொறியியல் அல்லது டொமைன்-குறிப்பிட்ட உருமாற்றங்களுக்கு பயனுள்ளதாக இருக்கும். வாசிப்புத்திறனுக்காக பொருத்தமான டாக்ஸ்ட்ரிங்குகளைச் சேர்க்க நினைவில் கொள்ளுங்கள்.

2. அம்சம் யூனியன்

FeatureUnion பல மின்மாற்றிகளின் வெளியீட்டை ஒரே அம்சம் வெக்டரில் இணைக்க உங்களை அனுமதிக்கிறது. ஒரே அம்சங்களுக்கு வெவ்வேறு உருமாற்றங்களைப் பயன்படுத்த விரும்பும்போது அல்லது வெவ்வேறு வழிகளில் மாற்றப்பட்ட அம்சங்களை இணைக்க விரும்பும்போது இது பயனுள்ளதாக இருக்கும். FeatureUnion வகுப்பு பல மின்மாற்றிகளின் வெளியீட்டை ஒரே அம்சம் வெக்டரில் இணைக்கப் பயன்படுகிறது.

3. பைப்பலைன்களுடன் கட்டம் தேடல்

முன்தயாரிப்பு படிகளின் ஹைப்பர்பராமீட்டர்கள் உட்பட உங்கள் பைப்பலைனின் ஹைப்பர்பராமீட்டர்களை மேம்படுத்த நீங்கள் GridSearchCV ஐப் பயன்படுத்தலாம். இது முன்தயாரிப்பு நுட்பங்கள் மற்றும் மாடல் அளவுருக்களின் சிறந்த கலவையை தானாகக் கண்டறிய உங்களை அனுமதிக்கிறது. அதிகரித்த கணினி செலவு குறித்து கவனமாக இருங்கள்.

தரவு முன்தயாரிப்பு பைப்பலைன்களுக்கான சிறந்த நடைமுறைகள்

தரவு முன்தயாரிப்பு பைப்பலைன்களை உருவாக்கும்போது மனதில் கொள்ள வேண்டிய சில சிறந்த நடைமுறைகள் இங்கே:

• உங்கள் தரவைப் புரிந்து கொள்ளுங்கள்: எந்தவொரு முன்தயாரிப்பு நுட்பங்களையும் பயன்படுத்துவதற்கு முன்பு, உங்கள் தரவைப் புரிந்துகொள்ள நேரம் ஒதுக்குங்கள். உங்கள் அம்சங்களின் விநியோகங்களை ஆராய்ந்து, விடுபட்ட மதிப்புகளை அடையாளம் கண்டு, வெளிப்பாடுகளைத் தேடுங்கள்.
• உங்கள் பைப்பலைனை ஆவணப்படுத்துங்கள்: பைப்பலைனின் ஒவ்வொரு படியையும் விளக்க உங்கள் குறியீட்டில் கருத்துகளைச் சேர்க்கவும். இது உங்கள் குறியீட்டைப் புரிந்துகொள்வதையும் பராமரிப்பதையும் எளிதாக்கும்.
• உங்கள் பைப்பலைனை சோதிக்கவும்: உங்கள் பைப்பலைன் சரியாக வேலை செய்கிறதா என்பதை உறுதிப்படுத்த அதை முழுமையாக சோதிக்கவும். பைப்பலைனின் ஒவ்வொரு படியும் எதிர்பார்த்த வெளியீட்டை உருவாக்குகிறதா என்பதைச் சரிபார்க்க யூனிட் சோதனைகளைப் பயன்படுத்தவும்.
• தரவு கசிவைத் தவிர்க்கவும்: உங்கள் தரவை முன்தயாரிக்கும்போது தரவு கசிவைத் தவிர்க்க கவனமாக இருங்கள். பயிற்சித் தரவை முன்தயாரிக்க பயிற்சித் தரவிலிருந்து மட்டுமே தகவலைப் பயன்படுத்துகிறீர்கள் என்பதை உறுதிப்படுத்திக் கொள்ளுங்கள். பயிற்சி மற்றும் சோதனைத் தரவுகளுக்கு இடையில் நிலைத்தன்மையை உறுதிப்படுத்த பைப்பலைன்களைப் பயன்படுத்தவும்.
• செயல்திறனைக் கண்காணிக்கவும்: காலப்போக்கில் உங்கள் மாடலின் செயல்திறனைக் கண்காணித்து, தேவைக்கேற்ப அதை மீண்டும் பயிற்றுவிக்கவும். தரவு விநியோகங்கள் காலப்போக்கில் மாறக்கூடும், எனவே உங்கள் பைப்பலைனை அவ்வப்போது மறு மதிப்பீடு செய்து, தேவைக்கேற்ப மாற்றங்களைச் செய்வது முக்கியம்.

நிஜ உலக எடுத்துக்காட்டுகள்

வெவ்வேறு தொழில்களில் தரவு உருமாற்ற பைப்பலைன்கள் எவ்வாறு பயன்படுத்தப்படலாம் என்பதற்கான சில நிஜ உலக எடுத்துக்காட்டுகளை ஆராய்வோம்:

• நிதி: கடன் இடர் மாடலிங்கில், வாடிக்கையாளர் தரவை முன்தயாரிக்க பைப்பலைன்கள் பயன்படுத்தப்படலாம், இதில் வருமானம் மற்றும் கடன் மதிப்பெண் போன்ற எண் அம்சங்கள், அத்துடன் வேலைவாய்ப்பு நிலை மற்றும் கடன் நோக்கம் போன்ற வகைப்படுத்தப்பட்ட அம்சங்கள் அடங்கும். விடுபட்ட மதிப்புகளை சராசரி இம்பியூட்டேஷன் அல்லது k-அருகிலுள்ள அண்டை இம்பியூட்டேஷன் போன்ற நுட்பங்களைப் பயன்படுத்தி இம்பியூட் செய்யலாம். வெவ்வேறு அளவீடுகளைக் கொண்ட அம்சங்கள் மாடலில் ஆதிக்கம் செலுத்தாமல் இருப்பதை உறுதி செய்ய அளவிடுதல் முக்கியமானது.
• சுகாதாரம்: மருத்துவ நோயறிதலில், வயது, இரத்த அழுத்தம், மற்றும் கொலஸ்ட்ரால் அளவுகள் போன்ற எண் அம்சங்கள், அத்துடன் பாலினம் மற்றும் மருத்துவ வரலாறு போன்ற வகைப்படுத்தப்பட்ட அம்சங்கள் உட்பட நோயாளி தரவை முன்தயாரிக்க பைப்பலைன்கள் பயன்படுத்தப்படலாம். வகைப்படுத்தப்பட்ட அம்சங்களை எண் பிரதிநிதித்துவங்களாக மாற்ற ஒன்-ஹாட் குறியாக்கம் பயன்படுத்தப்படலாம்.
• இ-காமர்ஸ்: தயாரிப்பு பரிந்துரை அமைப்புகளில், வாடிக்கையாளர் மற்றும் தயாரிப்பு தரவை முன்தயாரிக்க பைப்பலைன்கள் பயன்படுத்தப்படலாம், இதில் கொள்முதல் அதிர்வெண் மற்றும் தயாரிப்பு மதிப்பீடுகள் போன்ற எண் அம்சங்கள், அத்துடன் தயாரிப்பு வகை மற்றும் வாடிக்கையாளர் புள்ளிவிவரங்கள் போன்ற வகைப்படுத்தப்பட்ட அம்சங்கள் அடங்கும். தயாரிப்பு விளக்கங்கள் மற்றும் வாடிக்கையாளர் மதிப்புரைகளிலிருந்து அம்சங்களைப் பிரித்தெடுக்க, டோக்கனைசேஷன் மற்றும் ஸ்டெமிங் போன்ற உரை முன்தயாரிப்பு படிகளை பைப்பலைன்கள் சேர்க்கலாம்.
• உற்பத்தி: முன்கணிப்பு பராமரிப்பில், வெப்பநிலை, அழுத்தம், மற்றும் அதிர்வு போன்ற எண் அம்சங்கள், அத்துடன் இயந்திர வகை மற்றும் இயக்க நிலைமைகள் போன்ற வகைப்படுத்தப்பட்ட அம்சங்கள் உட்பட இயந்திரங்களிலிருந்து சென்சார் தரவை முன்தயாரிக்க பைப்பலைன்கள் பயன்படுத்தப்படலாம். வெளிப்பாடு அளவீடுகளின் சாத்தியக்கூறுகள் காரணமாக RobustScaler இங்கே குறிப்பாக பயனுள்ளதாக இருக்கும்.

உலகளாவிய தரவுத்தொகுப்புகளில் உள்ள சவால்களை எதிர்கொள்வது

உலகளாவிய தரவுத்தொகுப்புகளுடன் பணிபுரியும்போது, முன்தயாரிப்பின் போது கவனமாக பரிசீலிக்க வேண்டிய குறிப்பிட்ட சவால்களை நீங்கள் அடிக்கடி சந்திப்பீர்கள். இங்கே சில பொதுவான சிக்கல்கள் மற்றும் அவற்றைத் தீர்ப்பதற்கான உத்திகள்:

• மாறுபட்ட தரவு வடிவங்கள்: தேதிகள், எண்கள், மற்றும் நாணயங்கள் பிராந்தியங்களில் வெவ்வேறு வடிவங்களைக் கொண்டிருக்கலாம். சீரான பாகுபடுத்தல் மற்றும் வடிவமைப்பை உறுதிப்படுத்தவும். உதாரணமாக, தேதிகள் DD/MM/YYYY அல்லது MM/DD/YYYY வடிவத்தில் இருக்கலாம். தேதி மாற்றங்கள் மற்றும் வடிவமைப்பைக் கையாள பொருத்தமான நூலகங்களைப் பயன்படுத்தவும்.
• மொழி வேறுபாடுகள்: உரைத் தரவு வெவ்வேறு மொழிகளில் இருக்கலாம், இதற்கு மொழிபெயர்ப்பு அல்லது மொழி சார்ந்த முன்தயாரிப்பு நுட்பங்கள் தேவைப்படலாம். மொழிபெயர்ப்பிற்காக கூகிள் டிரான்ஸ்லேட் ஏபிஐ (பொருத்தமான பயன்பாட்டு பரிசீலனைகள் மற்றும் செலவு தாக்கங்களுடன்) அல்லது மொழி சார்ந்த உரை செயலாக்கத்திற்கு என்.எல்.டி.கே போன்ற நூலகங்களைப் பயன்படுத்துவதைக் கருத்தில் கொள்ளுங்கள்.
• நாணய மாற்று: நிதித் தரவு வெவ்வேறு நாணயங்களில் இருக்கலாம். அனைத்து மதிப்புகளையும் புதுப்பித்த மாற்று விகிதங்களைப் பயன்படுத்தி ஒரு பொதுவான நாணயத்திற்கு மாற்றவும். துல்லியமான மற்றும் நிகழ்நேர மாற்று விகிதங்களைப் பெற நம்பகமான ஏபிஐகளைப் பயன்படுத்தவும்.
• நேர மண்டலங்கள்: நேரத் தொடர் தரவு வெவ்வேறு நேர மண்டலங்களில் பதிவு செய்யப்படலாம். நிலைத்தன்மையை உறுதிப்படுத்த அனைத்து நேர முத்திரைகளையும் ஒரு பொதுவான நேர மண்டலத்திற்கு (எ.கா., UTC) மாற்றவும். நேர மண்டல மாற்றங்களைக் கையாள pytz போன்ற நூலகங்களைப் பயன்படுத்தவும்.
• கலாச்சார வேறுபாடுகள்: கலாச்சார நுணுக்கங்கள் தரவு விளக்கத்தை பாதிக்கலாம். உதாரணமாக, வாடிக்கையாளர் திருப்தி மதிப்பெண்கள் கலாச்சாரங்களில் வித்தியாசமாக விளக்கப்படலாம். இந்த நுணுக்கங்களைப் பற்றி எச்சரிக்கையாக இருங்கள் மற்றும் உங்கள் முன்தயாரிப்பு படிகளை வடிவமைக்கும்போது அவற்றைக் கருத்தில் கொள்ளுங்கள்.
• தரவு தர சிக்கல்கள்: வெவ்வேறு மூலங்களில் தரவு தரம் கணிசமாக மாறுபடலாம். பிழைகளைக் கண்டறிந்து சரிசெய்ய வலுவான தரவு சரிபார்ப்பு மற்றும் சுத்தம் செய்யும் நடைமுறைகளைச் செயல்படுத்தவும்.

முடிவுரை

தரவு முன்தயாரிப்பு இயந்திர கற்றல் பைப்பலைனில் ஒரு முக்கியமான படியாகும். Scikit-learn பைப்பலைன்களைப் பயன்படுத்துவதன் மூலம், உங்கள் பணிப்பாய்வுகளை நெறிப்படுத்தலாம், தரவு கசிவைத் தடுக்கலாம், மற்றும் உங்கள் மாடல்களின் செயல்திறனை மேம்படுத்தலாம். இந்த நுட்பங்களில் தேர்ச்சி பெறுவது பரந்த அளவிலான பயன்பாடுகளுக்கு மேலும் வலுவான மற்றும் நம்பகமான இயந்திர கற்றல் தீர்வுகளை உருவாக்க உங்களுக்கு அதிகாரம் அளிக்கும். உங்கள் தரவின் குறிப்பிட்ட பண்புகள் மற்றும் உங்கள் இயந்திர கற்றல் மாதிரியின் தேவைகளுக்கு ஏற்ப முன்தயாரிப்பு படிகளை மாற்றியமைக்க நினைவில் கொள்ளுங்கள். உங்கள் குறிப்பிட்ட சிக்கலுக்கான உகந்த கலவையைக் கண்டறிய வெவ்வேறு நுட்பங்களுடன் பரிசோதனை செய்யுங்கள். சரியான தரவு முன்தயாரிப்பில் நேரத்தை முதலீடு செய்வதன் மூலம், உங்கள் இயந்திர கற்றல் அல்காரிதம்களின் முழு திறனையும் நீங்கள் திறக்கலாம் மற்றும் சிறந்த முடிவுகளை அடையலாம்.